Tiền thân của Vùng II chiến thuật là Đệ tứ Quân khu, được thành lập ngày 1 tháng 7 năm 1952[3], là một trong 4 Quân khu của Quân đội Quốc gia Việt Nam. Vùng kiểm soát của Đệ tứ Quân khu ban đầu chỉ tương ứng với phần cao nguyên Trung phần Việt Nam (nay là Tây nguyên). Năm 1954, địa bàn các Quân khu được điều chỉnh lại, trong đó Đệ tứ Quân khu được mở rộng thêm phần lãnh thổ Trung Việt kể từ ranh giới phía bắc tỉnh Quảng Ngãi trở xuống.[4]

Sau khi chính thể Việt Nam Cộng hòa chính thức thành lập ngày 26 tháng 10 năm 1956, toàn bộ lãnh thổ Nam Việt Nam do Việt Nam Cộng hòa kiểm soát được chia thành 6 Quân khu[5]. Địa bàn của Đệ tứ Quân khu cũ được tách thành 2 Quân khu mới là Đệ tam Quân khu (gồm các tỉnh Kontum, Pleiku, Bình Định, Phú Yên) và Đệ tứ Quân khu mới (gồm các tỉnh nam cao nguyên Trung phần và phía nam duyên hải Trung phần). Tư lệnh đầu tiên của Đệ tam Quân khu là Đại tá Đỗ Cao Trí và Tư lệnh đầu tiên của Đệ tứ Quân khu là Đại tá Trần Ngọc Tám.

Quân đoàn II được thành lập vào ngày 1 tháng 10 năm 1957 tại Thị xã Ban Mê Thuột, với nòng cốt ban đầu gồm Sư đoàn 14 và Sư đoàn 15 Khinh chiến, do Thiếu tướng Trần Ngọc Tám làm Tư lệnh đầu tiên. Địa bàn kiểm soát của Quân đoàn II bao gồm cả địa bàn của cả Đệ tam và Đệ tứ Quân khu.

Cuối năm 1961, các Quân khu được cải tổ thành các Vùng chiến thuật (trừ Quân khu Thủ đô đổi thành Biệt khu Thủ đô)[6]. Đệ tam và Đệ tứ Quân khu được sáp nhập và cải tổ thành Vùng 2 chiến thuật, từ đó có danh hiệu liên hợp Quân đoàn II và Vùng 2 chiến thuật. Địa bàn của Vùng 2 được tổ chức thành các khu chiến thuật: Khu 22 chiến thuật (gồm các tỉnh Kontum, Pleiku, Phú Bổn, Bình Định và Phú Yên) và Khu 23 chiến thuật (gồm các tỉnh Darlac, Tuyên Đức, Quảng Đức, Khánh Hòa, Lâm Đồng, Bình Thuận và Ninh Thuận và Đặc khu Cam Ranh). Các tỉnh cũng được tổ chức về mặt quân sự thành các Tiểu khu chiến thuật, đứng đầu là một sĩ quan cấp Đại tá hoặc Trung tá với chức danh Tỉnh trưởng (hoặc Thị trưởng) kiêm Tiểu khu trưởng, trực tiếp chỉ huy và điều động các đơn vị Địa phương quân và các Chi khu (trong đó có các Trung đội Nghĩa quân). Quân số của mỗi Tiểu khu tương đương với quân số từ một đến hai Trung đoàn bộ binh nhưng về mặt trang bị không bằng các đơn vị chủ lực. Vì vậy khi cần thiết sẽ được sự hỗ trợ của các Sư đoàn bộ binh. Do đó, khi phối hợp tác chiến Tiểu khu trưởng dưới quyền của Tư lệnh Sư đoàn. Tháng 10 năm 1962, Bộ Tư lệnh Quân đoàn di chuyển lên Pleiku (Đặt sở Chỉ huy tại đây cho đến 1975). Sau, 2 tỉnh Kontum và Pleiku được đặt thuộc Biệt khu 24. Ngày 1 tháng 7 năm 1970, Vùng 2 chiến thuật được cải danh thành Quân khu 2.

Phong trào ly khai BAJAKARA

Nỗ lực chặn tuyến tiếp vận Trường Sơn

Mậu Thân 1968

Mùa hè đỏ lửa

Trận chiến cuối cùng

Sau khi Hiệp định Paris 1973 được ký kết, lực lượng quân Mỹ và đồng minh lần lượt rút khỏi Việt Nam. Viện trợ bị cắt giảm.